实例演示 | 您所在的位置:网站首页 › crash kernel pdf › 实例演示 |
本文主要介绍kdump服务和crash的使用,并结合一个简单的实例演示如何分析内核奔溃的原因。本文基于linux kernel 4.19, 体系结构为aarch64。 kdump概述kdumpkdump 是一种先进的基于 kexec 的内核崩溃转储机制,用来捕获kernel crash(内核崩溃)的时候产生的crash dump。当内核产生错误时,kdump会将内存导出为vmcore保存到磁盘。 kdump流程当系统崩溃时,kdump 使用 kexec 启动到第二个内核。第二个内核通常叫做捕获内核,以很小内存启动以捕获转储镜像。第一个内核启动时会保留一段内存给kdump用。 ![]() 可以在kernel command line中加入如下参数:crashkernel=size[@offset]。保留内存是否预留成功,可以通过cat /proc/meminfo查看。。 cat /proc/meminfo | grep Crash 安装kexec-tooolsyum install kexec-tools kexec-tool推荐使用rpm方式安装,使用时需要和内核版本配套。 启动kdump服务systemctl start kdump.service // 启动kdump服务 service kdump status // 查看kdump状态 测试kdump是否可以正常dumpecho c > /proc/sysrq-trigger 如果没有问题,系统会自动重启,重启后可以看到在/var/crash/目录下生成了coredump文件。 qemu使用kdump我们经常会使用qemu去启动虚拟机。qemu启动的内核发生错误也可以用kdump生成vmcore文件。 首先先将qemu的panic重启关闭,防止coredump的时候发生了rebootecho 0 > /proc/sys/kernel/panic 触发kernel panicecho c > /proc/sysrq-trigger kernel panic后,使得qemu进入monitor模式ctrl + A, ---> c, qemu进入monitor模式 进入monitor模式后,进行coredumpdump-guest-memory -z xxx-vmcore 如下图所示,成功在qemu 的kernel panic后,获得了coredump文件。 ![]() 在内核奔溃后,如果部署了kdump, 会在/var/crash目录中找到vmcore转储文件,vmcore文件可以配合crash工具进行分析。 crash的版本要和内核的版本保持一致, 比如上面成功dump了qemu arm64的coredump文件,就需要配套的arm64的crash工具进行分析,否则会报兼容性错误。 编译arm64 crash工具: 下载:https://github.com/crash-utility/crash/releases 编译安装: $ tar -xf crash-7.2.8.tar.gz $ cd crash-7.2.8/ $ make target=arm64 安装完成后,使用crash工具分析vmcore文件, vmlinux在编译内核时会在根目录下生成。 crash vmcore vmlinux ![]() struct -o [struct] : 显示结构体中成员的偏移 struct [struct] [address] : 显示对应地址结构体的值 [struct] [address] :简化形式显示对应地址结构体的值 [struct] [address] -xo: 打印结构体定义和大小 [struct].member[address]: 显示某个成员的值 rd: 读取内存内容代码语言:javascript复制crash> rd ffff0000085dc0d0 32 ffff0000085dc0d0: a8c17bfd39000020 d503201fd65f03c0 ..9.{...._.. .. ffff0000085dc0e0: 910003fda9bf7bfd 97ec827fd50342ff .{.......B...... ffff0000085dc0f0: d65f03c0a8c17bfd 910003fda9bd7bfd .{...._..{...... ffff0000085dc100: b0005d73a90153f3 aa0103f4911b2262 .S..s]..b"...... ffff0000085dc110: f90017a1f9400041 910083a2d2800001 A.@............. ffff0000085dc120: 37f8018097f909a2 f10bfc7ff94013a3 .......7..@..... ffff0000085dc130: b000656154000228 f940128491018021 (..Tae..!.....@. ffff0000085dc140: b940402252800000 1100044279000083 ...R"@@....yB... ffff0000085dc150: 911b2273b9004022 f9400261f94017a2 "@..s"[email protected].@. ffff0000085dc160: b50000c1ca010041 a8c37bfda94153f3 A........SA..{.. ffff0000085dc170: 128002a0d65f03c0 97ebee0b17fffff7 .._............. ffff0000085dc180: 910003fda9be7bfd aa0003f4a90153f3 .{.......S...... ffff0000085dc190: 940b05adf9400013 97ec5fb991012260 ..@.....`"..._.. ffff0000085dc1a0: 97edbddd91052260 940b05c5aa1403e0 `".............. ffff0000085dc1b0: 97f0ec85aa1303e0 a8c27bfda94153f3 .........SA..{.. ffff0000085dc1c0: d503201fd65f03c0 52800021a9bf7bfd .._.. ...{..!..Rrd [addr] [len]: 查看指定地址,长度为len的内存 rd -S [addr][len]: 尝试将地址转换为对应的符号 rd [addr] -e [addr] : 查看指定内存区域内容 dis: 进行返汇编,查看对应地址的代码逻辑代码语言:javascript复制crash> dis -r ffff0000085dc0d0 0xffff0000085dc0b0 : stp x29, x30, [sp,#-16]! 0xffff0000085dc0b4 : mov x29, sp 0xffff0000085dc0b8 : bl 0xffff000008141a48 0xffff0000085dc0bc : adrp x1, 0xffff0000092e9000 0xffff0000085dc0c0 : mov w0, #0x1 // #1 0xffff0000085dc0c4 : str w0, [x1,#1448] 0xffff0000085dc0c8 : dsb st 0xffff0000085dc0cc : mov x1, #0x0 // #0 0xffff0000085dc0d0 : strb w0, [x1]代码语言:javascript复制crash> dis -f ffff0000085dc0d0 0xffff0000085dc0d0 : strb w0, [x1] 0xffff0000085dc0d4 : ldp x29, x30, [sp],#16 0xffff0000085dc0d8 : retps: 查看线程状态代码语言:javascript复制crash> ps PID PPID CPU TASK ST %MEM VSZ RSS COMM > 0 0 0 ffff000009192580 RU 0.0 0 0 [swapper/0] 0 0 1 ffff80007bbc1a80 RU 0.0 0 0 [swapper/1] 1 0 0 ffff80007bb68000 IN 0.0 2196 60 linuxrc 2 0 0 ffff80007bb68d40 IN 0.0 0 0 [kthreadd] 3 2 0 ffff80007bb69a80 ID 0.0 0 0 [rcu_gp] 4 2 0 ffff80007bb6a7c0 ID 0.0 0 0 [rcu_par_gp] 5 2 0 ffff80007bb6b500 ID 0.0 0 0 [kworker/0:0] 6 2 0 ffff80007bb6c240 ID 0.0 0 0 [kworker/0:0H] 7 2 0 ffff80007bb6cf80 ID 0.0 0 0 [kworker/u4:0] 8 2 0 ffff80007bb6dcc0 ID 0.0 0 0 [mm_percpu_wq] 9 2 0 ffff80007bb6ea00 IN 0.0 0 0 [ksoftirqd/0] 10 2 0 ffff80007bbc0000 ID 0.0 0 0 [rcu_preempt] 11 2 0 ffff80007bbc0d40 IN 0.0 0 0 [migration/0] 12 2 0 ffff80007bbc27c0 IN 0.0 0 0 [cpuhp/0] 13 2 1 ffff80007bbc3500 IN 0.0 0 0 [cpuhp/1] 14 2 1 ffff80007bbc4240 IN 0.0 0 0 [migration/1] 15 2 1 ffff80007bbc4f80 IN 0.0 0 0 [ksoftirqd/1] 16 2 1 ffff80007bbc5cc0 ID 0.0 0 0 [kworker/1:0] 17 2 1 ffff80007bbc6a00 ID 0.0 0 0 [kworker/1:0H] 18 2 0 ffff80007bbd0000 IN 0.0 0 0 [kdevtmpfs] 19 2 0 ffff80007bbd0d40 ID 0.0 0 0 [netns] 20 2 0 ffff80007b040000 ID 0.0 0 0 [kworker/u4:1] 21 2 1 ffff80007b040d40 IN 0.0 0 0 [rcu_tasks_kthre] 42 2 1 ffff80007b0f3500 ID 0.0 0 0 [kworker/1:1] 43 2 0 ffff80007b0f4240 ID 0.0 0 0 [kworker/0:1] 49 2 1 ffff80007b0f4f80 ID 0.0 0 0 [kworker/u4:2] 56 2 1 ffff80007b140000 IN 0.0 0 0 [kauditd] 212 2 0 ffff80007b26ea00 ID 0.0 0 0 [kworker/u4:3] 256 2 0 ffff80007b336a00 ID 0.0 0 0 [kworker/u4:4] 471 2 1 ffff80007b2d6a00 IN 0.0 0 0 [oom_reaper] 472 2 1 ffff80007b2d5cc0 ID 0.0 0 0 [writeback] 474 2 0 ffff80007b330d40 IN 0.0 0 0 [kcompactd0] 475 2 0 ffff80007b3327c0 IN 0.0 0 0 [ksmd] 476 2 0 ffff80007b2d1a80 IN 0.0 0 0 [khugepaged] 477 2 0 ffff80007b2d0000 ID 0.0 0 0 [crypto] 478 2 1 ffff80007b2d0d40 ID 0.0 0 0 [kintegrityd] 480 2 1 ffff80007b2d27c0 ID 0.0 0 0 [kblockd] 501 2 1 ffff80007b2d3500 ID 0.0 0 0 [tpm_dev_wq] 508 2 1 ffff80007b2d4240 ID 0.0 0 0 [ata_sff] 541 2 0 ffff80007ac98000 ID 0.0 0 0 [edac-poller] 551 2 1 ffff80007b044240 ID 0.0 0 0 [devfreq_wq] 561 2 1 ffff80007b268000 IN 0.0 0 0 [watchdogd] 647 2 0 ffff80007b268d40 ID 0.0 0 0 [rpciod] 648 2 1 ffff80007b26c240 ID 0.0 0 0 [kworker/u5:0] 649 2 0 ffff80007ad04f80 ID 0.0 0 0 [xprtiod] 718 2 1 ffff80007bbd3500 IN 0.0 0 0 [kswapd0] 815 2 1 ffff80007ad00000 ID 0.0 0 0 [nfsiod] 1250 2 0 ffff80007b26dcc0 ID 0.0 0 0 [vfio-irqfd-clea] > 1452 1 1 ffff80007b0f1a80 RU 0.0 2196 76 shps -p [pid]: 显示进程父子关系 ps -t [pid]: 显示进程运行时间 kmem: 查看内核内存使用情况代码语言:javascript复制crash> kmem -i PAGES TOTAL PERCENTAGE TOTAL MEM 511276 2 GB ---- FREE 506631 1.9 GB 99% of TOTAL MEM USED 4645 18.1 MB 0% of TOTAL MEM SHARED 353 1.4 MB 0% of TOTAL MEM BUFFERS 0 0 0% of TOTAL MEM CACHED 480 1.9 MB 0% of TOTAL MEM SLAB 1930 7.5 MB 0% of TOTAL MEM TOTAL HUGE 0 0 ---- HUGE FREE 0 0 0% of TOTAL HUGE TOTAL SWAP 0 0 ---- SWAP USED 0 0 0% of TOTAL SWAP SWAP FREE 0 0 0% of TOTAL SWAP COMMIT LIMIT 255638 998.6 MB ---- COMMITTED 479 1.9 MB 0% of TOTAL LIMIT crash>kmem -i: 查看内存整体使用情况 kmem -s: 查看slab使用情况 kmem [addr]: 搜索地址所属的内存结构 更多其它命令通过help查看内核panic实例内核访问空指针产生panic。 驱动制作编写一个驱动,构造一个内核模块访问空指针的异常,演示如何使用crash分析内核奔溃的原因。 代码语言:javascript复制include #include #include #include struct my_struct { unsigned long head; spinlock_t lock; }; int *addr = 0; //null pointer void panic_foo(struct my_struct *ms) { int *p = addr; spin_lock(&ms->lock); if (ms->head == 10) { *p = 0xFFFF; } else if (ms->head = 0) { // do sth } else { // do sth } spin_unlock(&ms->lock); } int panic_kernel_init(void) { struct my_struct *ms = kzalloc(sizeof(struct my_struct), GFP_KERNEL); spin_lock_init(&ms->lock); ms->head = 10; panic_foo(ms); return 0; } void panic_kernel_exit(void) { } module_init(panic_kernel_init); module_exit(panic_kernel_exit);代码语言:javascript复制obj-m := panic-kernel.o KERNEL_DIR := /home/linux PWD := $(shell pwd) all: make -C $(KERNEL_DIR) SUBDIRS=$(PWD) modules clean: rm *.o *.ko *.mod.c .PHONY: clean将编好的驱动打包进根文件系统, 启动后插入内核模块。 ![]() 内核的call trace如上图所示, 将对应的文件反汇编,找到问题出现对应的代码。 aarch64-linux-gnu-objdump -S panic-kernel.o > test.txt 截取部分反汇编如下: 代码语言:javascript复制Disassembly of section .text: 0000000000000000 : int *addr = 0; //null pointer void panic_foo(struct my_struct *ms) { 0: a9bd7bfd stp x29, x30, [sp, #-48]! 4: 910003fd mov x29, sp 8: a90153f3 stp x19, x20, [sp, #16] c: aa0003f3 mov x19, x0 int *p = addr; 10: 90000000 adrp x0, 0 raw_spin_lock_init(&(_lock)->rlock); \ } while (0)从汇编代码可以看出, panic_foo函数的参数(x0)最终保存在x19寄存器。我们现在想要知道出现问题时,代码走的是哪一个分支。 配合crash进行分析,先导入模块符号表: 代码语言:javascript复制crash> mod -S my_module MODULE NAME SIZE OBJECT FILE ffff000000ae2000 panic_kernel 16384 my_module/panic-kernel.o使用crash 查看出问题时结构体的值,确认函数走的是哪个分支。函数的参数是x19: 代码语言:javascript复制crash> struct my_struct ffff8000fa4d9780 struct my_struct { head = 10, lock = { { rlock = { raw_lock = { { val = { counter = 1 }, { locked = 1 '\001', pending = 0 '\000' }, { locked_pending = 1, tail = 0 } } } } } } }从打印的之来看,head成员的值为10, 可以确定代码走的是哪一个分支。 再结合之前的反汇编代码, 出错的位置在pc: panic_foo +0x54。pc保存的是栈顶指针,lr保存的是函数返回的地址(x30) 代码语言:javascript复制static __always_inline void spin_unlock(spinlock_t *lock) { raw_spin_unlock(&lock->rlock); 38: aa1403e0 mov x0, x20 3c: 94000000 bl 0 } else { // do sth } spin_unlock(&ms->lock); } 40: f94013f5 ldr x21, [sp, #32] 44: a94153f3 ldp x19, x20, [sp, #16] 48: a8c37bfd ldp x29, x30, [sp], #48 4c: d65f03c0 ret *p = 0xFFFF; 50: 529fffe0 mov w0, #0xffff // #65535 54: b90002a0 str w0, [x21] 58: aa1403e0 mov x0, x20 5c: 94000000 bl 0 }偏移54的位置是把w0的值保存到x21, 而x21的地址是0。w0的值是mov w0, 0xffff直接赋值得来的。所以这里是将0xffff直接写到0地址导致的问题。 综上如上信息,结合实际的代码,最终找到问题的原因。 ![]() 5T技术资源大放送!包括但不限于:C/C++,Arm, Linux,Android,人工智能,单片机,树莓派,等等。在上面的【人人都是极客】公众号内回复「peter」,即可免费获取!! ![]() 记得点击分享、赞和在看,给我充点儿电吧 |
CopyRight 2018-2019 实验室设备网 版权所有 |